预训练模型（PTM）通过利用复杂的预训练目标和大量的模型参数，可以有效地获得无标记数据中的丰富知识。而在多模态中，PTM的发展还处于初期。根据具体模态的不同，将目前大多数的多模态PTM分为图像?文本PTM和视频?文本PTM；根据数据融合方式的不同，还可将多模态PTM分为单流模型和双流模型两类。首先，总结了常见的预训练任务和验证实验所使用的下游任务；接着，梳理了目前多模态预训练领域的常见模型，并用表格列出各个模型的下游任务以及模型的性能和实验数据比较；然后，介绍了M6（Multi-Modality to Multi-Modality Multitask Mega-transformer）模型、跨模态提示调优（CPT）模型、VideoBERT（Video Bidirectional Encoder Representations from Transformers）模型和AliceMind（Alibaba’s collection of encoder-decoders from Mind）模型在具体下游任务中的应用场景；最后，总结了多模态PTM相关工作面临的挑战以及未来可能的研究方向。

将用户感兴趣的事件从非结构化信息中提取出来，然后以结构化的方式展示给用户，这就是事件抽取。事件抽取在信息收集、信息检索、文档合成、信息问答等方面有着广泛应用。从全局出发，事件抽取算法可以分为基于模式匹配的算法、触发词法、基于本体的算法以及前沿联合模型方法这四类。在研究过程中根据相关需求可使用不同评价方法和数据集，而不同的事件表示方法也与事件抽取研究有一定联系；以任务类型区分，元事件抽取和主题事件抽取是事件抽取的两大基本任务。其中，元事件抽取有基于模式匹配、基于机器学习和基于神经网络这三种方式，而主题事件抽取有基于事件框架和基于本体两种方式。事件抽取研究在中英等单语言上均已取得了优秀成果，而跨语言事件抽取依然面临着许多问题。最后，总结了事件抽取的相关工作并提出未来研究方向，以期为后续研究提供参考。

针对低秩表示（LRR）子空间聚类算法没有考虑数据局部结构，在学习中可能会造成局部相似信息丢失的问题，提出了一种基于Hessian正则化和非负约束的低秩表示子空间聚类算法（LRR-HN），用来探索数据的全局结构和局部结构。首先，利用Hessian正则化良好的推测能力来保持数据的局部流形结构，使数据局部拓扑结构的表达能力更强；其次，考虑到获得的系数矩阵往往有正有负，而负值往往没有实际意义的特点，引入非负约束来保证模型解的有效性，使其在数据局部结构描述上更有意义；最后，通过最小化核范数寻求数据全局结构的低秩表示，从而更好地聚类高维数据。此外，利用自适应惩罚的线性交替方向法设计了一种求解LRR-HN的有效算法，并在一些真实数据集上，采用正确率（AC）和归一化互信息（NMI）对所提出的算法进行了评估。在ORL数据集上聚类数目为20时的实验中，LRR-HN与LRR算法相比，AC和NMI分别提高了11%和9.74%；与自适应低秩表示（ALRR）算法相比，AC和NMI分别提高了5%和1.05%。实验结果表明，LRR-HN与现有的一些算法相比，AC和NMI均有较大的提升，有较好的聚类性能。